PILOT Technical Report
PILOT：面向在线树实验的主动洞察学习智能体技术报告
🧭 Agent 多角色实验优化 · 决策树个性化 ★ 深度解读
Taobao
PILOT 用三角色 LLM 智能体将推荐实验从被动调参升级为主动假设检验与人群级决策树个性化，搜索效率提升 40pp
📌 工作参考价值（4 点）
- 给实验平台加“守卫层”：在真实推荐系统上做 Agent 自主实验，先实现确定性 Action Enumerator + Manager Guard + State Committer；LLM 只从合法候选里选，状态写入和统计判断都不经过 LLM，能显著降低越权和误用风险。
- 用 PolicyTree 做人群级策略个性化：把策略打成 bundle，用 split/prune/hashSplit/updateStrategy 作为原子动作；先做特征质量预筛和 hashSplit 小流量探测，再进入全桶 A/B 验证。适合猜你喜欢、会员分层、广告人群包等配置迭代。
- 记忆分成“策略证据”和“方法论”两层：策略效果只记录成 bundle 对比，并标注因果/诊断证据角色；单次实验只产生 draft，跨任务一致才升 supported/approved。可避免把一次 lucky run 当成全局经验，减少 LLM 幻觉决策。
- 强制“假设先行”的 planner proposal：每个候选必须带可证伪假设、拒绝条件、证据引用和结果后的下一步计划，否则不分配流量；这比事后总结轨迹更可控，适合把实验参数搜索交给 LLM 时的工程约束。